慕课网

Spark SQL分析Nginx访问日志

简介：本课中将系统的讲解Spark SQL的核心知识，并以实战的方式，通过分析Nginx访问日志的实战例子，帮助同学们领略SparkSQL强大简便的数据分析能力，洞悉SparkSQL调优方式及其核心思想。

本章介绍Spark SQL在Spark生态圈的地位和作用，让大家对Spark SQL 的总体知识框架有个大概的轮廓。

本章介绍Spark SQL运行原理，DataFrame、DataSet和RDD的相互转化和使用场景，并讲解Parquet的使用。

本章介绍DataFrame的过滤，分组，排序操作和列值的增删改，以及对Join的优化。

本章讲解自定义函数的使用，以及开窗函数在分组求TopN中的应用。

本章会讲解使用Spark SQL分析Nginx访问日志的项目。包括了数据清洗，存储，监控和优化。

本章将以思维导图的方式对本课程所有知识做一个总结，并再次突出其中的重点。

开始学习

课程须知: 本课程不是Spark零基础入门课程，需要同学们在学习之前： 1、熟悉Spark的RDD是什么 2、用Spark Shell写过简单的迭代运算 3、使用过Scala开发简单的Spark项目 4、了解Hadoop的HDFS原理 5、了解Hive的简单使用 6、了解Linux基本命令 7、有Java开发基础

老师告诉你能学到什么？: 1、DataFrame/DataSet查询操作（过滤，分组，排序） 2、Spark SQL自定义函数和窗口函数 3、Parquet列式存储